Отказоустойчивое Такси, или 
Как мы строим надежный 
сервис 


Педченко Максим + -- 


Р Ней! оад++ 
(ны да 202 


Как делать 
надежные сервисы 


О себе 


» „В компании с 2017 года 
) Руковожу группой бзкенд-разработки 


) Занимаюсь продуктовой разработкой 


Яндекс Со 


) Микросервисная архитектура 


( | ) Есть монолит 
О > Стек: С++/РуШоп 3 


Расскажу 


) Почему отказоустойчивость — приоритет 
) Что обычно приводит к отказам 


) Очем надо подумать перед разработкой 


Отказоустойчивость — 
приоритет 


млрд поездок 


3,0 
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2,0 


1,5 


1,0 


0,5 


0,0 


Число совершенных поездок на такси в России 


в 2015-2019 гг 


тагКкейпа-.грс.гиагис!е5/11306/ 


2,70 


2019 


млрд поездок 


3,0 


2,5 


2,0 


1,5 


1 


© 


0 


їл 


0,0 


Число совершенных поездок на такси в России 


в 2015-2019 гг 


Виѕіпеѕ$а! хе 
2.34 
1.84 
Е | 
2015 2016 2017 2018 


тагКкейпа-.грс.гиагис!е5/11306/ 


2,70 
А 5000 
| в секунду 


2019 


Если такси не работает? 


Падение сервиса 


» Мы и водители теряем деньги 


Падение сервиса 


» Мы и водители теряем деньги 


> Пользователь уходит к конкуренту 


Падение сервиса 


> Мы и водители теряем деньги 
> Пользователь уходит к конкуренту 


) Если уходить будет некуда? 


Цель — 
всегда подать машину 


Что приводит к отказам? 


Архитектура сервиса 


Монолит 


(Авторизация )) 


(00 Расчетщен |) (С Расчетщен |) 


User ( Заказтаки 0) ( Заказтаки 0) 


— 


<> 


Архитектура сервиса 


Монолит 


Авторизация 


Расчет цен 


User Заказ такси 


Внешние факторы 


——> 


C > 


Заказы 


Архитектура сервиса 


Монолит 
— 


Внешние факторы 


Естественный рост 


Архитектура сервиса 


Монолит 


— 


User Заказ такси ——> Заказы 


Внешние факторы 


Естественный рост 


О чем-то не подумали до 
разработки 


Задача: 
интегрировать 


сазпраск 


м 
Кропоткинская 
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ош © 
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+49Р и приедет Комфорт+ 
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Задача: интегрировать cashback 


Монолит 


— 
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Интегрируем сазпраск 


Монолит 


(Авторизация )) 
User ( Заказтаки 0) ( Заказтаки 0) 


——> 


Cashback 


Заказы 


ШИ 
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Интегрируем сазпраск 


Монолит 


(Авторизация )) 


(00 Расчетцен ) ( Расчетцен ) 


User ( Заказтаки 0) ( Заказтаки 0) 


Т.Е Cashback 


— Заказы 


тр 
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Интегрируем сазпраск 


1. Сетевой поход в cashback 
Монолит 


— L Сонын 


User 


2. Добавить ответ B API 


3. Поддержать АР! в приложении 
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Раз-раз, и в продакшн 


> 


9:41 


Сервис не работает 
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Комфорт 


Нельзя заказать 
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с 
с 

S 


M 
Фрунзенская 
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Вопросы к разработке 


) Как включать фичу на бзкенде? 
) Как включать фичу в приложении? 
) Правильное ли место для интеграции? 


) Что если все пойдет не так? 


27 


1 Как включать фичу 
_ на бэкенде? 


Наивный подход 


Монолит 


User 
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Наивный подход 


Монолит 5007$ х 3 


User 
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Наивный подход 


Монолит 500015 х 3 


User Отвечает за 600ms 
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Наивный подход 


Монолит 500т5 х 3 


РО м __) — (седкеж) 


User Не отвечает 
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Наивный подход 


Монолит 500т5 х 3 


— С мон) > (сен 


User 


Не отвечает 
Что будет дальше? 
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Наивный подход. Расчет цен 


Монолит 


Расчет цен 


Пул воркеров | | | 
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Наивный подход. Расчет цен 


—> Сз) 


Монолит 


Расчет цен 


Пул воркеров | | | 
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Наивный подход. Расчет цен 


Монолит 


Пул воркеров | | | 


—> (Са) CD (а) 
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Наивный подход. Расчет цен 


Монолит 


Пул воркеров | | | 


— ( та ) 


Ретрай cashback 
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Наивный подход. Расчет цен 


—> Сы ә (Сә) 


Монолит 


Расчет цен 


Пул воркеров | | | 


Ретрай cashback 
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Наивный подход. Расчет цен 


Сән) ә Свт 


Монолит 


Расчет цен 


Пул воркеров | | | 


Ретрай cashback 
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Наивный подход. Расчет цен 


a 
ответа 


Монолит 


Расчет цен 


Пул воркеров | | | 


Ретрай cashback 
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Наивный подход. Расчет цен 


a 
ответа 


Монолит 
Что делать 
запросам? 


Пул воркеров | | | 


Ретрай cashback 
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Наивный подход 


User Не отвечает 


Забился канал 
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2. Ок, добавим тоггл 


Добавляем тоггл 


(соп 14. сазпЬаск enabled) | | 


GetCashback () 
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— Когда чтение конфига? 
— При выкатке 


Добавляем тоггл 


1. Меняем конфиг 


2. Перевыкатываем | 


Монолит 50075 х 3 


РО м __) — (седкеж) 


User Не отвечает 
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— Сколько перевыкатка? 
- 9 минут 


— Сколько людей не уедет? 


3. Ок, рантаим тоггл? 


Паттерн 1. Бзкенд-конфиги 


Параметры фичи меняются 
без перевыкатки 


Паттерн 1. Бзкенд-конфиги 


1. Меняем конфиг | 


Монолит 
2. 
асчет цен — 576 


User 
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Паттерн 1. Бзкенд-конфиги 


1$ зупс 


Монолит 


User 
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Паттерн 1. Бзкенд-конфиги 


1$ зупс | 


Е 

Монолит 

-- 
асчет цен -------» 576 
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Паттерн 1. Бзкенд-конфиги 


1$ зупс 


Е 
Монолит 

— 
асчет цен -------» 576 


User Нет похода 
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1 Как включать фичу 
_ на бэкенде? 


2 Как включать фичу 
_ в приложении? 


1. Никак (на бэке включим) 


-- А если баг в приложении? 


Баг в приложении 


Монолит 


User 
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Баг в приложении 


Поле cashback | 


| Монолит 


User 
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Баг в приложении 


Поле cashback | 


| Монолит 


User 


Рефакторинг 
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Баг в приложении 


АР! расчета цен 


"cashback": "150" 
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Баг в приложении 


АР! расчета цен 


"cashback": "1.5" 


Дробный кэшбек | 
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Баг в приложении 


Ожидал запятую 


АР! расчета цен 


"cashback": "1.5" 


Дробный кэшбек | 
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Баг в приложении 


Ошибка парсинга | 


Монолит 


User 
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Баг в приложении 


Ошибка парсинга | 


Монолит 


User 
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Баг в приложении 


Ошибка парсинга | 


Монолит 


Можно 
User сломать 
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— Отключаем на бзкенде? 


— Сделаем хотфикс 
— Когда будет в сторе? 


2. Ок, сделаем под тогглом 


сопз 1а. сазпраск enabled | 


ParseNewWay () 
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-- Когда тоггл обновляется? 
— На старте приложения 


Баг в приложении 


Монолит 


User 


14 


— А пользователь 
перезапустит апп? 


-- А если нет? 


3. Ок, обновляемьи тоггл 


Паттерн 2. Клиентские конфиги 


Параметры фичи 
в приложении меняются 
без перевыкатки 


Баг в приложении 


Монолит 


User 


1$ sync 
polling/socket 
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-- Как будем отключать? 
— У всех пользователей 


— У нас реклама в России 
— Ох... 


Паттерн 2. Клиентские конфиги 


Монолит 
шинн = 
User 
1$ sync | 
polling/socket 
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Паттерн 2. Клиентские конфиги 


Монолит 


User 
1$ sync 
polling/socket 


Отключение по странам 


— Хотфикс готов, включаем? 


Паттерн 2. Клиентские конфиги 


Включить на процент | 


Монолит 


User 
1$ sync 
polling/socket 


Отключение по странам 
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2 Как включать фичу 
_ в приложении? 


з. Правильное ли место 
_ для интеграции? 


1. Правильно, как быстрее 


Место интеграции 


Монолит 


User | 
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— А если баг в интеграции? 


Место интеграции 


| 


Пер 


User | 
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Баг в интеграции 


АР! сервиса сазпраск 


"value": 150000, 
"divisor": 10000 
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Баг в интеграции 


cashback = value / divisor 
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Баг в интеграции 


АР! сервиса сазпраск 


"value": 0, 


"divisor": 0 
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Баг в интеграции 


АР! сервиса сазпраск 


"value": 0, 


} 
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Место интеграции 


| 


Монолит 


User | 


Деление на 0 
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Место интеграции 


————> | Cashback | 


шен) 
Расч 
(С Рае Зи 


Killed Бу $1СЕРЕ 


User 
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— Это точно проблема? 


Место интеграции 


Какая цена ошибки? 


—————> | Cashback | 


User 


Killed by SIGFPE 
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Цена ошибки 


Монолит Монолит 


Расчет цен Расчет цен 


— Е 
Монолит Монолит 
Е 
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Цена ошибки 


Монолит Монолит 


Расчет цен Расчет цен 


— Сы) — 
тя 


Монолит Монолит 
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Цена ошибки 


Монолит Монолит 


Жэ 
7 Р 


— Сы) — 
тя 


Монолит Монолит 
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Цена ошибки 


Монолит Монолит 


Расчет цен 


Request 


— Balancer — 


Монолит Монолит 


Расчет цен Расчет цен | 


Кедиез! 


User 
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Цена ошибки 


Монолит Монолит 


Request 


— Balancer — 


Монолит 


Кедиез! 


User 
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Цена ошибки 


Монолит Монолит 


— — 
Монолит Монолит 
4 `,4 


User 
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— Сколько займет рестарт? 


— Опасно, может через апп? 


2. Целаем в приложении 


Сделаем в приложении 


Монолит 


User 


__ | 
Cashback 
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— Запрос бесплатный? 


Сделаем в приложении 


Монолит 


Расчет цен 


User 


Много соседних запросов —> 
Cashback 
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Сделаем в приложении 


Монолит 


User 


Много соседних запросов > 
Cashback 
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Конкуренция за сеть 


» ВНТТР 1.1 — 4 активных соединения 
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Конкуренция за сеть 


» ВНТТР 1.1 — 4 активных соединения 


» ВНТТР 2 — остается ТСР Head of line 
blocking | 
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-- А если баг в приложении? 


3. Ок, все же бзкенд. Как? 


Паттерн 3. Выделение ядра 


Фича не влияет на ядро 
и не ломает его 


Термин «ядро» 


) То, что нужно 


НН — — 


) „Без чего сервис не работает 
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Паттерн 3. Выделение ядра 


Монолит 


User | 
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Паттерн 3. Выделение ядра 


1. Убрать связь 


Монолит | 
User | 
2. Не трогать ядро 
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Паттерн 3. Выделение ядра 


ИЯ <— ии 


Монолит | 
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Паттерн 3. Выделение ядра 


и 


Монолит | 


User | 


Остается без правок 
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— А где деление на 07 


Паттерн 3. Выделение ядра 


и 


Монолит | 
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— Почему гейтвеи не упадет? 


— Как выделить ядро? 


Как выделять ядро? 
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E Правильное ли место 
_ для интеграции? 


4 Что если все пойдет не 
так? 


1. Вероятно... ничего 


— У нас там майские и 
реклама 


Влияние фичи 


Монолит 


User | 


132 


Влияние фичи 


User 
Монолит 
User User 


User User User 


Повышенная нагрузка 
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Влияние фичи 


Нехватка ресурсов 


User 


Монолит 
\ И 


User User 


User User User 


Повышенная нагрузка 
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-- Масштабируемся 


— Сколько downtime? 


Влияние фичи 


User 


Монолит 
\ И 


User User 


User User User 
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-- Сколько пользователеи не 
уедет? 


2. Замена на время 


Паттерн 4. Фолбзк ядра 


Отказ ядра не приводит 
к отказу сервиса 


Замена на время 


Расчет цен (fallback) © 


Монолит 
Maen 
P Х —> Сазпраск 


User | 
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Что такое СУ 
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ПО к культуры 
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Лужники 


падом ~ 
о 


Деградация расчета цен 


О Льва Толстого 16 


О МФКОко 
Такси 
© 60 
са 
Комфорт 
545Р 4595P 644Р пав 568Р 


+49Р и приедет Комфорт+ 
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Что такое 
фолбэк? 


Деградация расчета цен 


Можно 
не группировать тарифы 


Кропоткинская 


ФС" 
o а 


Ёс š 
ма Киевский вкз. J 


Ё 
с 
S 


M 


падох -~ 
О 


Лужники 


О Льва Толстого 16 


О МФКОко 


Такси 


а 2958 


Комфорт 
545Р 4 595Р 644Р 7592 


© 60 


568? 


+49Р и приедет Комфорт+ 
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м 
Кропоткинская 


Что такое "X 
фолбзк? 


падом ~ 


Деградация расчета цен еН 


О Льва Толстого 16 


Можно О МФКОко 
не группировать тарифы Такси 
не считать кешбэк а. ся 
545Р 45058: 644Р 759Р 568Р 


+49Р и приедет Комфорт+ 


0-- 
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Что такое 
фолбэк? 


Деградация расчета цен 


Можно 

не группировать тарифы 
не считать кешбэк 
считать цену «от Х» 


СА м 
Ке а $ Кропоткинская 
е Киевский вкз. J 
м Ф 
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Q = 0 


Комфорт 
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+49Р и приедет Комфорт+ 
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Graceful degradation. Доклад Яндекс.Такси 


Блог компании Яндекс, Анализ и проектирование систем, Usability, Геоинформационные сервисы 


Сервисы необходимо писать так, чтобы минимальная функциональность сохранялась всегда — даже 
если откажут критически важные компоненты. Илья Сидоров, руководитель одной из команд 
продуктовой разработки бэкенда Яндекс.Такси, объяснил в своем докладе, как мы даем 
пользователю заказать машину, когда отдельные части системы не работают, и по какой логике мы 
активируем упрощенные версии сервиса. 


A Graceful degradation в Яндекс Такси - Илья Сидоров © » 


Watch later Share 


Watch оп @9Уощие 


Һабг.сот/ги/сотрапу/уапдех/6109/438606/ 
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Паттерн 4. Фолбзк ядра 


(Расчёт цен (fallback) ) цен (Расчёт цен (fallback) ) 
Монолит 
| (| рамтын (0) (| рамтын (0) 


User 


Отдельно OT расчета 


— Cashback 
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— Из приложения ходить? 


Паттерн 4. Фолбзк ядра 


(Расчёт цен (fallback) ) цен (Расчёт цен (fallback) ) 
Монолит 
| (| рамтын (0) (| рамтын (0) ———ә Cashback 


User 
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Паттерн 4. Фолбзк ядра 


ти 


Монолит 
ЕЕ (fallback) Cashback 


User 
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— Как переключать? 


Паттерн 4. Фолбзк ядра 


1. Считаем статистику 


Монолит 


(Ресен |) (fallback) НИ 


User 


2. Если >N% 5хх — фолбэк 
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— А фолбэк выдержит? 


Паттерн 4. Фолбзк ядра 


Монолит 


(Ресен |) (fallback) НИ 


User 


Делает 10% работы 
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4 Что если все пойдет не 
так? 
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Вопросы к разработке 


) Как включать фичу на бзкенде? 
) Как включать фичу в приложении? 
) Правильное ли место для интеграции? 


) Что если все пойдет не так? 
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(9 Бокенд-конфиги 
Клиентские конфиги 


Выделение ядра 


Фолбзк ядра 


Клиентские конфиги 


Бэкенд-конфиги 


Клиентские конфиги 


з Выделение ядра 
| 


Фолбзк ядра 


Бэкенд-конфиги 
Клиентские конфиги 
Выделение ядра 


| 
4 Фолбэкядра 
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6-2 rgnlax@yandex-team.ru 


@rgnlax 


Яндекс 


Удачи! 


Педченко Максим 


Развиваю продукт и архитектуры 


6-2 rgnlax@yandex-team.ru 


@rgnlax 


https://bit.ly/3uVwbnA 


